Tamanho do efeito.

É uma função do tamanho da amostra, do valor da estatística (diferença entre médias, coeficientes ou correlações), e o desvio-padrão da variável resposta. Em todos os casos o efeito cresce se a amostra é grande, se a diferença é grande e se o desvio-padrão das diferenças é pequeno. Em todos os casos o tamanho do efeito pdoe ser interpretado como uam generalização da estatística t. As expressões para tamanho do efeito para situação são:

• teste t: o próprio valor de t para amostras de mesmo tamanho e mesma variância: (x1 - x2) / (sd / sqrt(2/n))
• correlação: coeficiente de correlação convertido para estatística t: r * sqrt((n-2) / (1-r^2) )
• anova: diferença do grupos em relação aos outros, expresso na escala de t: (x1 - x2) / (sd / sqrt(3/n))
• coeficiente angular a regressão: conversão para a escala de t: beta / (sd / sqrt(n))

Tamanho da amostra

• teste t e anova: n de observações em cada tratamento
• correlação e regressões: n de observações

Desvio-padrão da resposta

Em todos os casos todas as populações amostradas tinha um mesmo desvio-padrão (homocedasticidade).

• teste t: desvio-padrão das distribuições gaussianas dos valores nas duas populações amostradas
• anova: idem para as três populações amostradas
• correlação: desvio-padrão das distribuições marginais da gaussiana bivariada da qual são tomadas as amostras
• regressão linear: desvio-padrão do coeficiente angular

Amostragem dos parâmetros

Duas mil combinações dos parâmetros foram sorteadas com o método do hipercubo latino. No sorteio todos os valores tinham a mesma probabilidade (distribuição uniforme), dentro dos seguintes intervalos:

• Tamanho do efeito: 0,1 a 8,0
• Tamanho amostral: 10 a 100
• Desvio-padrão da resposta: 0,1 a 8

Os demais valores estão descritos no manuscrito, e foram mantidos constantes.

Critérios para associar IT a uma conclusão correta

Tínhamos definido que o IT chegou a uma conclusão correta se o modelo correpondente tivesse Delta-AIC = 0. Chamamos isso de critério 1. Na reunião de 03/10/17 chegamos à conclusão que um critério mais adequado seria que uma conclusão é correta apenas se o modelo correspondente tivesse o menor AIC (dAIC = 0) e todos os demais tivessem delta-AIC > 2. Chamei esse de critério 2.

Nas simulações em que havia mais de dois modelos concorrentes (anova e regressão) a proporção de conclusões corretas de IC chegava a uma assíntota de 86%. Isso acontece pq há uma probabilidade de no mínimo 16% de que modelos com um parâmetro a mais mas não informativo (coeficiente próximo de zero mas suficiente para dar um melhor ajuste) sejam selecionados. Isso é apontado no artigo do Arnold ¹, que sugere então que se aplique um critério adicional de parcimônia neste caso. O critério seria de escolher entre os modelos empatados o com menor número de parâmetros. A partir do Arnold cheguei a artigos estatísticos que provam que a probabilidade de inclusão de uma parâmetro não informativo em modelos lineares Gaussianos é mesmo cerca de 16% ². Então é um procedimento bem fundamentado, apesar de inicialmente eu considerar heterodoxo demais para colocarmos neste artigo. Graças à indicação inicial do Leo do artigo do Arnold é que me caiu a ficha.

Assim, incluí no critério dois a solução proposta por Arnold, simulando a situação em que o usuário chegaria à conclusão correta se escolhesse o modelo mais simples entre os empatados. Para teste t e correlação, em que há apenas dois modelos concorrentes, isso equivale a considerar válido todas as seleções com delta-AIC do modelo correto <2. Para anova e regressão ficou assim:

• Quando havia a presença do efeito (diferença de um grupo na anova ou efeito de uma preditora na regressão), considerei corretas as seleções em que apenas modelos com este efeito estavam selecionados, mesmo que entre eles houvesse modelos com efeitos adicionais também selecionados. No caso da ANOVA, isso acontece quando o modelo de diferença entre todos os grupos empata com o modelo de diferença apenas do grupo correto. No caso da regressão, isso acontece quando o modelo com a preditora correta empata com o modelo com o modelo com as duas preditoras. Note que nos dois casos se apenas o modelo com parâmetros adicionais for selecionado a conclusão foi considerada incorreta.
• Nos casos de ausência de efeito (H0 correta), considerei corretas também as seleções em que os modelos empatados formavam uma hieraquia (nested), incluindo o nulo. Nestes casos o usuário também chega ao modelo nulo se optar pelo modelo mais simples, o que pode acontecer de várias maneiras:
• y~1 e y~x1
• y~1 e y~x1 e y ~ x1+x2
• y~1 e y~x2
• y~1 e y~x2 e y~x1+x2